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Аспекти формування тестів для контролю 
знань в системі адаптивного навчання 


У статті досліджено системи навчання, які дозволяють проводити попередню оцінку знань і враховувати 
індивідуальні підходи до об'єкта навчання. Досліджено моделі і методи адаптивного контролю знань, 
наведено основні принципи побудови сучасної системи тестування, самотестування і самопідготовки. 
Запропоновано модель адаптивного навчання, яка вміщує програму формування тестів на основі принципу 
модульного контролю знань. 


Вступ 


Бурхливий розвиток інформаційних технологій на базі сучасних обчислювальних 
засобів призводить до широкого використання інтелектуальних навчальних систем 
(НС) у сфері освіти. Мета таких систем полягає в підвищенні ефективності процесу 
навчання за рахунок реалізації гнучкого і адаптивного управління цим процесом на 
основі знань про предмет і методику навчання. ІНС володіє необхідними знаннями 1 
моделлю об'єкта навчання. На кожному кроці навчання ця система може обирати 
або генерувати оптимальну для даного об'єкта навчальну дію (1 |. 

Метою нашої статті є: дослідження 1 аналіз методів, ідей, технологій 1 алгоритмів, 
покладених в основу існуючих систем тестування; дослідження систем навчання, що 
дозволяють проводити попереднє оцінювання знань та враховувати індивідуальні під- 
ходи до об'єкта навчання; дослідження моделей і методів адаптивного контролю 
знань; створення моделі адаптивного навчання, яка містить програму формування 
тестів на основі принципу модульного контролю знань. 


Етапи розвитку традиційних тестуючих систем 


На відміну від традиційних систем інтелектуальні системи мають наступні особ- 
ливості: надання об'єкту навчання великої свободи вибору тем і завдань для навчання; 
можливість отримувати кваліфіковані відповіді на питання, які цікавлять студента в 
процесі навчання; надання можливості діагностувати знання і уміння об'єкта навчання. 

Задача побудови тестуючих програм як складової частини інтелектуальних нав- 
чальних систем обумовлює наступні переваги процесу тестування: простота рішення 
початкової задачі побудови системи; можливість доповнення тестуючої системи в 
процесі використання; достатньо проста схема практичного використання; привабливість 
для користувача за рахунок часу і зусиль, що витрачаються на перевірку знань (21. 

Під тестуючою програмою будемо розуміти програму, що пропонує користувачеві 
питання 1 декілька варіантів відповідей на нього. 

Основним завданням тестуючих програм є перевірка знань об'єкта тестування. 
В цих програмах найбільш прості тести мають фіксовану кількість стандартних питань, 
незмінну систему оцінки отриманих відповідей, статичний алгоритм побудови послі- 
довності тесту. Наступним кроком розвитку таких систем стало збільшення бази даних 
питань 1 відповідей 1, як наслідок, різноманітності питань, що ставляться програмою. 
Як правило, ці питання обиралися випадковим чином з бази даних. Подібний алгоритм 
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дозволив створити ілюзію унікальності тестів, що пропонувалися. Випадковий вибір 
питань давав можливість формувати тести з великою кількістю варіантів. Паралельно 
йде ускладнення системи оцінки відповіді користувача. 

Першим кроком є статична зміна вагових коефіцієнтів правильності відповіді 
на те або інше питання. База даних розбивається на групи за рівнем складності. Вно- 
сяться зміни в систему управління тестом - вона вже формує тест хоча і випадковим 
чином, але так, щоб питання були представлені відповідно до рівня складності. Як пра- 
вило, рівень складності зростає з номером питання. Проходження тесту вже допускається 
в довільному порядку - до раніш поставлених питань можна повертатися. Це вносить 
до процесу тестування певну навчальну складову. Наступні питання тесту можуть 
наштовхнути користувача на правильну відповідь на раніш поставлені питання. 

Другий крок - динамічна зміна системи оцінювання. Класичний приклад - 
пропозиція підказки користувачеві при неправильній відповіді із зниженням оцінки 
за відповідь. Підказок на одне і те ж питання може бути і декілька, зниження балів 
може бути пропорційне «цінності» підказки. Користувач може сам вирішувати: вико- 
ристовувати або не використовувати ту або іншу підказку. 

Динамічно може мінятися і схема проходження тесту. Тобто програма може ста- 
вити питання певного рівня складності до тих пір, поки не буде отримана правильна 
відповідь (декілька правильних відповідей), не переходячи до складніших питань. Це ви- 
магає великої кількості питань, а, отже, великих баз даних. 

До переваг тестуючих програм можна віднести простоту їх реалізації. Наступною 
перевагою є зручність використання таких систем користувачем. Обирати правильну 
відповідь із запропонованих легше, ніж самостійно описувати отриманий результат. 
На це потрібно менше сил і часу. Ще однією перевагою є те, що сама ідея тестування, 
тобто, пропозиція декількох варіантів відповідей побічно стимулює користувача аналі- 
зувати різні рішення і, як наслідок, більш глибоко досліджувати поставлене завдання. 

Тести достатньо привабливі, оскільки істотно скорочують час відповіді на питання, 
а перевірку тестів можна повністю автоматизувати. Це відкриває перспективи вико- 
ристання тестуючих програм, які дозволяють повністю реалізувати весь процес тесту- 
вання без участі викладача. Результати тестів можуть зберігатися автоматично і викорис- 
товуватися надалі. Даний принцип використовують системи автоматичного управління 
учбовим процесом, що створюють індивідуальні бази даних на кожного студента. 

Проте є і недоліки тестуючих програм. Основним недоліком є обмежена кількість 
питань в базі даних. Для того щоб забезпечити успішне функціонування тестуючої 
програми протягом тривалого часу, необхідно постійно додавати і розширювати бази 
даних, інакше, поступово програма перестане виконувати свої функції. Другим недо- 
ліком є мала інформативність відповіді користувача. Вибір правильного варіанту нічого 
не говорить про те, як він був отриманий. Можливо, просто вгаданий. До недоліків можна 
віднести і те, що тестуючі програми накладають певні обмеження і на складність зав- 
дань, що пропонуються. 

Отже, в тест можна включати тільки завдання, що не вимагають великих зусиль 
при його проходженні. Особливо це незручно в завданнях з дисциплін, що стосуються 
мов програмування. Тому завдання повинні бути дуже простими, або сам процес тесту- 
вання затягується на невизначений час (в залежності від рівня підготовки студента). 


Аналіз існуючих систем тестування 


На даний час широкого поширення набули тестуючі системи, які застосовуються 
в різноманітних областях 1 торкаються різних сфер життя суспільства. За їх допомо- 
гою перевіряється рівень знань, здійснюється підбір кваліфікованих кадрів, проводиться 
сертифікація персоналу 1 т.ін. 
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Аналіз існуючих тестуючих систем, доступних через мережу Інтернет, з метою 
виявлення рівня їх інтелектуалізації здійснювався за наступними критеріями: 

-- цілі тестування; 

- види тестових завдань; 

- вибір послідовності тестових завдань; 

- критерії завершення тестування; 

- спосіб інформування об'єкта тестування; 

- вид представлення результату тесту; 

- характеристика пропонованих варіантів відповідей. 

На основі проведеного аналізу були отримані наступні результати: 

- більшість тестуючих систем, що існують на даний час, засновані на закритій 
формі тестових завдань з вибором одного варіанту відповіді з чотирьох запропонованих, 
що має бал певної ваги. Ця властивість рідко дозволяє врахувати правильні відповіді на 
базові питання запропонованої теми, а також неповні або частково правильні відповіді; 

- майже в кожній системі присутній генератор тестових завдань, який виконує їх 
випадковий вибір із загального числа наявних в базі. Тобто, у наступних тестових зав- 
даннях ніяк не враховується правильність відповідей, даних на попередні питання; 

- всі системи завершують тестування при проходженні всієї сукупності тестових 
завдань. Це не дозволяє скоротити час тестування за рахунок «ідеальних» відповідей на 
складні тестові завдання, за допомогою яких можна оцінити рівень знань студента. 

Можна зробити висновок, що практично в жодній з доступних для аналізу тесту- 
ючих систем (опублікованих чи запропонованих) мало використовуються методи штуч- 
ного інтелекту |3|. Застосування інтелектуальних тестуючих систем дозволяє: 

- значно поліпшити якість тестування; 

- відстежувати успішність як окремого студента, так і всієї групи; 

- давати поради для ефективнішого засвоєння матеріалу; 

-- детально обгрунтовувати особі, що пройшла тестування, отриману нею оцінку; 

- скоротити час проходження тесту за рахунок завершення процесу тестування 
після настання значущої події; 

- надавати допомогу викладачу з вдосконалення завдань тесту |41. 

Традиційна комп'ютерна система контролю знань пропонує кожному об'єкту тесту- 
вання відповісти на однакову кількість питань без урахування якості відповідей, після 
чого виконується обробка результатів тесту. Ці тести, як правило, включають перелік 
питань з варіантами відповідей, серед яких знаходяться правильні. Частка правильних 
відповідей визначає підсумкову оцінку рівня знань об'єкта тестування. Такі тести можна 
назвати «жорсткими», оскільки в них, фактично, використовується двійкова система оцін- 
ки правильності відповіді на кожне питання (правильно або неправильно). 

Основним недоліком «жорстких» тестів є оцінка неповних або неточних відпо- 
відей як неправильних, тобто наближене, неповне знання відповіді на питання визнача- 
ється як незнання відповіді, а це не завжди виправдано. Отже, використання «жорстких» 
тестів необ'єктивно оцінює рівень знань студента, занижуючи оцінку. Тому більш доціль- 
ною будемо вважати роботу з «м'якими» тестами, які дозволяють враховувати не тільки 
«знає» -- «не знає», але і «частково знає». Тестуючі системи, що працюють з «м'якими» 
тестами, вирішують питання супровідного навчання при тестуванні. 

Ще однією реалізацією інтелектуальних алгоритмів функціонування є можливість 
самоорганізації тесту 1 його адаптації до рівня підготовки користувачів. При багато- 
кратному використанні тесту програма сама може перерозподіляти питання за рівнем 
складності, спираючись на дані, отримані при тестуванні. Простіше кажучи, питання, на 
яке за даними статистики було отримано найменше число правильних відповідей, 
автоматично переходить у розряд складних, збільшується його ваговий коефіцієнт. 
Коефіцієнт питання, на яке було отримано найбільшу кількість правильних відповідей, 
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навпаки, знижується. Це дає можливість побудови адаптивних тестів, які самокоректу- 
ються під рівень знань об'єктів тестування. Дві однакові на початку функціонування 
програми, застосовуючись в різних групах, через деякий час будуть суттєво відрізня- 
тися одна від одної. 

Також існують інтелектуальні алгоритми оцінювання. На первинній стадії система 
висуває чотири гіпотези: випробовуваний знає матеріал на «5», випробовуваний знає 
матеріал на «4», випробовуваний знає матеріал на «3»; випробовуваний не знає матеріал. 

У первинному стані система дає однакову ймовірнісну оцінку всім даним гіпо- 
тезам. Після кожного тестового завдання рівень довіри між гіпотезами розподіляється 
залежно від вибраного варіанта відповіді. При певній відповіді на тестове завдання 
система обчислює 1 змінює рівень довіри до кожної гіпотези. Досягнувши критичної 
відмітки якого-небудь рівня довіри, система інформує користувача про його оцінку, 
а, також, надає рекомендації до повторного вивчення тем, що погано або недостатньо 
засвоєні, для досягнення вищих результатів |4). 

Застосування тестуючих програм у складі інтелектуального навчального ком- 
плексу є перспективним і дозволяє відслідковувати успішність як окремого студента, 
так і всієї групи; давати поради для ефективнішого засвоєння матеріалу; надавати 
допомогу викладачу з вдосконалення завдань тесту. При вирішенні питання підви- 
щення ефективності тестування для перевірки якості знань студентів доцільно вико- 
ристовувати адаптивне тестування. 

Адаптивне тестування (АТ) - це широкий клас методик тестування, які передба- 
чають зміну послідовності завдань в самому процесі тестування з урахуванням відповідей 
студента на вже отримані завдання. В процесі проходження тесту (або набору тестів) 
будується модель особи, яка навчається, для подальшого використання при виборі 
наступних завдань тестування залежно від рівня знань студента (51. 

Адаптивне тестування -- це такий контроль, який дозволяє регулювати складність 1 
число завдань, що надаються кожному студенту залежно від його відповіді на поточне 
завдання: у разі правильної відповіді наступне завдання він отримує важче; у разі 
неправильного -- меншої складності, але це вимагає попередньої апробації всіх завдань, 
визначення їх міри складності 1 створення банку завдань | 6). 

Найголовніша характеристика завдань адаптивного тесту -- це рівень їх складності, 
отриманий дослідним шляхом; це означає, що, перш ніж потрапити в банк, кожне 
завдання проходить емпіричну апробацію. 

Адаптивним тестом можна вважати варіант автоматизованої системи тестування із 
заздалегідь відомими параметрами складності 1 диференційованим підходом до кож- 
ного завдання. Ця система може бути створена у вигляді комп'ютерного банку завдань, 
впорядкованих відповідно до характеристик завдань, що цікавлять. 


Задачі і методи побудови навчальних інтелектуальних 
експертних ситем (ТЕС) на основі задачно-орієнтованої 
методології (ЗОМ) 


Важливими особливостями сучасних комп'ютерних технологій навчання є про- 
цеси індивідуалізації, інтелектуалізації і веб-серверної орієнтації традиційних систем 
навчання, програм 1 технологій. Це значною мірою визначається практичним викорис- 
танням методів і засобів штучного інтелекту, зокрема, експертних систем (ЕС) і інтег- 
рованих експертних систем (ТЕС) при їх розробці |7|. Тому з погляду концепції ЗОМ 
евристична модель типової задачі навчання Мт включає в себе побудову підмоделей 
(рис. 1): модель об'єкта навчання (М), модель навчання (М.), модель пояснення (М). 
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Модель типової задачі (Мт) 


Модель об'єкта Модель 
навчання (М) пояснення (М3з) 
Модель навчання 
(Мо) 


Рисунок І - Евристична модель типової задачі навчання 


Модель проблемної області, яку іноді відносять до моделі задачі навчання, роз- 
глядається в даному випадку виключно в рамках традиційної ЕС. 

Модель об'єкта навчання (М!) враховує: облікову інформацію про об'єкт нав- 
чання (психологічний портрет особи); початковий рівень знань 1 вмінь; завершальний 
рівень знань та вмінь; алгоритми виявлення рівнів знань і умінь; алгоритми психо- 
логічного тестування |З|. Для формування моделі об'єкта навчання М; використо- 
вується модель еталона М., яка відповідає рівню знань викладача з конкретного розділу 
курсу, що вивчається. З цією еталонною моделлю будуть порівнюватися отримані на етапі 
побудови М! результати. Для формування психологічного портрета особи перед етапом 
формування поточної моделі об'єкта навчання викладачу пропонується скомпону- 
вати набір тестів для виявлення необхідних, в даному випадку особових, характеристик. 
Розширення діапазону особових характеристик психологічного портрета особи і викорис- 
тання їх в алгоритмах побудови моделі об'єкта навчання і моделі навчання дозволяє 
більш повно враховувати індивідуальні особливості студента 1 формувати ефективніші 
стратегії навчання студентів освітніх установ |7|. 

У загальному випадку, модель навчання (М) містить знання про планування і 
організацію (проектування) процесу навчання, загальні 1 приватні методики навчання, 
тому запропонована модель М» включає наступні компоненти: сукупність моделей М|; 
сукупність стратегій навчання і навчальних дій; функцію вибору стратегій навчання або 
генерації стратегій навчання залежно від вхідної моделі М! (для адаптивної моделі М). 

Модель пояснення (М3) розроблялася виходячи з того, що існуючі способи 
реалізації методів пояснення в традиційних ЕС не повною мірою задовольняють цілям 
навчання, зокрема, моделям М! і М», тому поточна версія моделі М» орієнтована на 
продукційні моделі представлення знань, включає наступні компоненти: ланцюг пояс- 
нення; детальність пояснення; алгоритм, що адаптує процедури логічного виводу до 
запитів об'єкта навчання (рис. 2). 

Таким чином, моделі МІ, М» і Му в сукупності з моделлю предметної області 
повністю описують типову задачу навчання за допомогою спеціальних процедур 1 функ- 
цій, а також вказують на наявність певних взаємозв'язків. 


Модель підсистеми контролю знань 


В основі архітектури ІНС використовується модель процесу навчання, яка здій- 
снює певну послідовність операцій відповідно до поточного стану об'єкта навчання 1 
методики навчання. Для цього: 

-тенерується початкова інформація, яка вимагає відповідних дій об'єкта навчання; 

- проводиться порівняння отриманої відповіді з еталонним рішенням і діагнос- 
тика помилок, що виникли в процесі тестування; 

- за результатами процесу тестування розпізнаються поточні характеристики об'єк- 
та навчання 1 визначається його модель. 
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Представляється перспективним застосування тестуючих програм у складі інте- 
лектуального навчального комплексу ІНК (рис. 2). 


Система управления 
интеллектуальной 


обучающей системи 


обновленная 
модель 
пользователя 


текущая модель 
пользователя 


запрос 2 на основе 
обновленной модели 
Локальная система 
управления тестирующей 
программи 
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интерпретация ответа 2 


ответа 1 


вивод 1 


Интерфейс 


База 
данньх 


вопрос 2 
ответ 1 
ответ 2 


Пользователь 


Рисунок 2 - Модель системи оцінки відповідей користувача в складі 
інтелектуального навчального комплексу 


Використання інтелектуальних алгоритмів функціонування дає відчутні результати 
вже на етапі введення динамічної зміни оцінки питань і відповідей, а також схеми про- 
ходження тесту. Очевидно реалізуються класичні функції систем штучного інтелекту -- 
розпізнавання і ідентифікація відповіді користувача, ухвалення рішення, формування і 
реалізація дії, що управляє, у вигляді оцінки поточного 1 вибору наступного питання (2). 

У складі інтелектуального навчального комплексу система має автономну сис- 
тему управління, яка вирішує описані вище завдання, але, окрім цього, вона може працю- 
вати у складі системи управління всього комплексу. Автономна система управління 
бере участь у формуванні 1 корекції внутрішньої моделі користувача. 

Таким чином, утворюється один з контурів зворотного зв'язку інтелектуального 
навчального комплексу - отримуючи від головної системи управління поточну мо- 
дель користувача, тестуюча програма даватиме на виході скоректовану модель відповідно 
до результатів проходження тесту. 

Зробивши огляд існуючих інформаційних систем навчання та вивчивши існуючі 
моделі інформаційних систем, автори статті пропонують схему моделі процесу навчання, 
що дозволяє враховувати індивідуальний підхід в процесі навчання до кожного об'єкта 
навчання з використанням адаптивних методів (рис. 3). 

На початку вивчення нового предмету студент проходить вхідний контроль 
знань з суміжних дисциплін, на яких даний предмет базується. У випадку негативного 
результату студенту пропонується вивчити базові поняття за допомогою модуля 
пояснень бази знань системи. У випадку позитивної оцінки процес навчання продовжу- 
ється за навчальним графіком. Після закінчення вивчення певних тем студенту про- 
понується пройти поточний контроль знань. На результати відповідей студента реагує 
блок адаптивного прийняття рішень і надає рекомендації щодо повторного вивчення 
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визначених системою питань. Зміна коефіцієнта складності сформованих тестів відбу- 
вається після проходження тесту певною групою студентів. Виконуючи рекомендації 
модуля пояснень, студент може підвищити отриману оцінку за рахунок повторного 
проходження тесту. При отриманні мінімальної кількості балів для проходження тесту 
система інформує користувача про його оцінку, а також пропонує пройти тестування з 
наступної теми. Наприкінці семестру студент має пройти підсумковий контроль, що 
відображає скорочений варіант питань попередніх тестів. Виконавши аналіз 
результатів всіх тестувань, програма виставляє підсумкову оцінку знань студента, яка 
буде прийнята як остаточна. 
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Рисунок 3 - Модель адаптивного навчання 


Висновки 


В даній роботі проведено аналіз існуючих систем адаптивного навчання. На 
основі цього аналізу можна сказати, що практично в кожній з доступних для аналізу 
тестуючих систем мало використовуються методи штучного інтелекту. 

При створенні систем адаптивного навчання доцільно враховувати модель нав- 
чання, модель пояснення 1 модель об'єкта навчання, які в сукупності з моделлю пред- 
метної області повністю описують типову задачу навчання за допомогою спеціальних 
процедур 1 функцій, а також вказують на наявність певних взаємозв'язків. Запропо- 
нована модель адаптивного навчання містить програму формування тестів на основі 
принципу модульного контролю знань, модуль пояснень та блок прийняття рішень з 
оцінкою складності тестів. Модель дозволяє реалізувати індивідуальний підхід до 
об'єкта навчання в ході поточного вивчення тем, а не наприкінці семестру, на відміну 
від розглянутого аналога моделі системи оцінки відповідей користувача в складі ІНК. 
Остаточна оцінка знань студента враховує аналіз результатів підсумкового контролю 
і результати модульного контролю при прийнятті рішень про оцінку складності тестів. 

Продовження цієї теми передбачає розробку модуля оцінювання тестів для опти- 
мізації процесу тестування знань. 
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О.В. Кравченко, Ж.М. Плакасова 

Аспектьт формирования тестов для контроля знаний в системе адаптивного обучения 
Исследовань системьт обучения, которьюе позволяют проводить предварительную оценку знаний и 
учитьвать индивидуальнь6"е подходьт к обучаємому. Исследованьт модели и методьт адаптивного контроля 
знаний. Приведеньт основньгюе принципьт построения современной системьт тестирования, самотестирования 
и самоподготовки. Предложена модель адаптивного обучения, которая содержит программу формирования 
тестов на основе принципа модульного контроля знаний. 
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